import scrapy
import datetime

# 百度爬虫案例
# 运行指令：scrapy crawl baidu
class BaiduSpider(scrapy.Spider):
    name = "baidu"                          # 爬虫的名字 用于运行爬虫时使用
    allowed_domains = ["www.baidu.com"]     # 允许爬取的域名
    start_urls = ["https://www.baidu.com"]  # 起始的url地址（第一次访问的域名）

    # 若需为不同爬虫生成独立的日志文件（如 爬虫名_时间戳.log），可在爬虫类中通过 custom_settings 覆盖全局配置：
    custom_settings = {
        'LOG_FILE': f"logs/{name}_{datetime.datetime.now().strftime('%Y%m%d_%H%M%S')}.log",
        # 管道优先级（高于 settings.py 中的 ITEM_PIPELINES属性），暂时置空
        'ITEM_PIPELINES': {  }
    }
    
    def parse(self, response):               # 解析函数 用于解析响应的数据（ 该方法中response相当于response = request.get() ）
        print(' 百度爬虫爬取中... 逻辑未完成！ -- 测试中...')
        pass
